Appearance
Learning from outcomes shapes reliance on moral rules versus cost–benefit reasoning
Summary
Problem: 道德规则与成本-收益推理（CBR）之间的冲突是许多社会争议的根源，但以往研究主要关注这两种决策机制本身，而很少探讨人们如何决定何时依赖规则、何时依赖CBR。既有道德学习理论（如Cushman和Crockett的强化学习视角）主要关注行为层面的学习（如是否重复某个具体动作），忽略了人们可能在更抽象的决策策略层面进行学习。本文旨在填补这一空白：人们是否会从道德决策的后果中学习，并据此调整对规则与CBR的整体依赖程度？ Approach: 作者提出“元认知道德学习”（metacognitive moral learning）理论，认为人们不仅学习具体行为，还会在元控制层面学习“何时使用哪种决策策略”。他们开发了一个新的实验范式：参与者面对一系列现实道德困境，每个困境中一个选项符合道德规则、另一个选项符合CBR，参与者做出选择后能看到该决策的后果（好或坏），然后进入下一个困境。参与者被随机分配到“CBR成功”条件（CBR选项总是导致好结果）或“规则成功”条件（规则选项总是导致好结果）。通过四个实验，结合计算建模（模型驱动的Q学习与模型贝叶斯学习），检验元认知道德学习是否存在及其机制。 Finding: 四个实验一致表明，参与者会根据先前决策的后果自适应地调整对规则与CBR的依赖：在CBR成功条件下，参与者越来越倾向于选择CBR选项；在规则成功条件下则相反。计算建模显示，许多参与者的学习发生在决策策略层面（元认知学习）而非具体行为层面。这种学习还迁移到了实验外的激励相容捐赠决策和道德信念（如功利主义倾向量表得分）中。实验4排除了需求特征的解释。 Significance: 这一发现表明，个体在道德规则与CBR之间的偏好并非固定不变，而是可以通过从后果中学习而被显著改变。这对道德心理学中关于个体道德差异的稳定性假设提出了挑战，也为理解道德争议的起源和道德教育提供了新的理论视角。
Theoretical Framework
- Theoretical tradition: 强化学习（RL）视角下的道德决策研究，结合策略选择学习（strategy selection learning）与元控制（meta-control）理论。
- Prior theories built upon: Cushman的双系统道德决策模型（模型无关与模型驱动的RL系统）、Crockett的道德RL理论、策略选择学习理论（Lieder等人）、元控制理论（meta-control）、Q-learning模型、贝叶斯学习模型。
- Causal mechanism: 道德决策的后果引发道德评价（好/坏），该评价与预期之间的差异构成“道德预测误差”（moral prediction error），该误差通过RL机制更新元控制层面对各决策策略（规则或CBR）的价值估计或结果概率估计，从而调整后续决策中对各策略的依赖程度。
- Key assumptions: （1）存在一个元控制系统，负责选择使用哪种道德决策机制；（2）道德评价部分基于决策后果；（3）学习可以发生在策略层面而非仅行为层面；（4）模型无关与模型驱动两种RL机制都可能参与元认知道德学习。
- Theoretical move: 本文扩展了Cushman和Crockett的RL道德学习理论——从行为层面的学习扩展到策略层面的元认知学习，并整合了策略选择学习与元控制理论到道德决策领域。作者明确区分了“依赖CBR/规则”与“认同后果主义/道义论”这两个被以往研究混淆的维度。
- Scope conditions: 学习发生在后果明确可见且可评价的情境中；研究聚焦于规则与CBR两种策略的权衡，未涵盖其他决策机制；参与者为非哲学专业的普通人群；学习效果在13次决策内即可显现，但长期稳定性未考察。
Research Design
本研究为实验设计（四个实验），采用被试间随机分组。分析单元为个体参与者的逐次决策。关键自变量为实验条件（CBR成功 vs. 规则成功），操作化为：在CBR成功条件下，CBR选项总是导致整体好结果、规则选项导致整体坏结果；规则成功条件反之。关键因变量为：（1）每次决策中选择CBR选项的概率（二选一选择）；（2）对行动道德正确性的评分（0-100量表）；（3）迁移测量：牛津功利主义量表（OUS）牺牲伤害子量表、激励相容捐赠决策、道义信念量表。实验4中，参与者以为迁移测试是由不同研究者进行的另一项实验，以排除需求特征。
Data & Sample
总样本量N = 2,328。四个实验的参与者通过在线平台招募（具体平台未在文中明确说明，推测为Prolific或类似平台）。参与者为普通成年人，未受过专业道德哲学训练。实验时间跨度为2024-2025年（论文2025年8月在线发表）。数据来源为在线实验收集的行为数据、自我报告量表及计算模型拟合结果。
Analytical Strategy
主要使用逻辑混合效应回归分析选择数据（以log(trial N)为预测变量，检验条件×试次交互），使用线性混合效应回归分析道德判断评分。计算建模方面，开发了四种模型：模型驱动的元认知学习（贝叶斯beta-Bernoulli模型）、模型无关的元认知学习（Q-learning）、模型驱动的行为学习、模型无关的行为学习，通过模型比较确定哪种学习机制最能解释数据。预注册了单侧检验假设，未预注册的检验使用双侧检验。实验2中增加了自我报告测量以区分模型驱动与模型无关学习。实验4通过跨实验迁移设计控制需求特征。
Results & Findings
- 实验1：在CBR成功条件下，选择CBR选项的比例从首试次的51.8%上升到末试次的68.2%；在规则成功条件下，从55.7%下降到44.3%。逻辑回归证实了条件×试次的交互效应。道德判断方面，CBR成功条件下参与者对CBR行动的评价随试次增加而上升、对规则行动的评价下降（交互显著）；规则成功条件下模式相反但交互未达显著（p = 0.057）。OUS牺牲伤害子量表得分在CBR成功条件下显著高于规则成功条件（d = 0.56），表明学习迁移到了实验外的道德信念。
- 实验2：复制了实验1的选择效应。自我报告测量显示参与者学习的是策略层面的结果概率（模型驱动元认知学习）而非仅行为层面的价值。迁移到激励相容捐赠决策：CBR成功条件下的参与者更倾向于捐赠给功利主义倾向的慈善机构。
- 实验3：进一步检验学习机制，发现元认知学习（而非行为学习）是迁移到捐赠决策的必要条件——只有被计算模型分类为元认知学习者的参与者才表现出迁移效应。
- 实验4：排除了需求特征解释——元认知学习者的迁移效应在参与者认为由不同研究者进行的另一项实验中仍然出现。
- 意外发现：道德判断的变化弱于选择行为的变化（实验2中判断的交互效应不显著），提示选择层面的学习可能先于或强于判断层面的变化。部分参与者报告称自己未意识到结果与策略之间的系统关联，说明学习可能是内隐的。
Limitations
作者承认的局限包括：（1）实验仅涵盖13次决策，学习曲线的长期动态和稳定性未知；（2）道德困境虽比传统电车难题更现实，但仍为假设情境，与真实道德决策存在差距；（3）行为学习模型的简化假设（跨困境泛化）可能不完全准确；（4）自我报告测量可能受社会赞许性影响；（5）样本为在线招募的普通人群，可能不代表极端道德立场人群；（6）未考察学习效果在更长时间尺度上的持久性。
Key Contributions
- 提出了“元认知道德学习”这一新概念，将策略选择学习理论扩展到道德决策领域
- 开发了新的实验范式，克服了传统电车难题的不现实性、结果确定性假设和行动/省略混淆问题
- 提供了计算模型区分元认知学习与行为学习，并证明元认知学习是迁移效应的必要条件
- 首次证明道德决策策略的偏好可以通过从后果中学习而被系统性改变
- 通过激励相容捐赠决策和跨实验迁移设计，建立了生态效度和排除需求特征
- 对道德心理学中个体差异的稳定性假设提出挑战，提示道德偏好可能比预期更具可塑性
Key Claims
"We conclude that metacognitive learning from consequences shapes moral decision-making and that individual differences in morality may be surprisingly malleable to learning from experience." (Abstract)
"According to this theory, the mechanisms of strategy selection learning also operate on the mechanisms of moral decision-making. In strategy selection learning, the consequences of people's actions reinforce the decision strategies that selected them, unlike in operant conditioning, where consequences reinforce specific behaviours." (Results, A theory of metacognitive moral learning)
"Put simply, the mechanisms of metacognitive moral learning differ from standard RL in two key ways: (1) learning occurs in the meta-control system, whose 'actions' are our decision strategies (for example, CBR and rule-following), and (2) the reward signal is the person's moral evaluation of how good or bad their decision was." (Results, A theory of metacognitive moral learning)
"Unlike prior theories of moral learning, which proposed that people learn on the level of more specific behaviours (for example, whether to punch someone), we propose that people also learn on the level of moral decision-making strategies (for example, whether to engage in rules or CBR)." (Results, A theory of metacognitive moral learning)
"Our work builds on and extends the reinforcement learning (RL) perspective on moral decision-making developed by Cushman and Crockett. According to this view, people use two systems in moral decision-making: an intuitive model-free system that selects actions on the basis of their average consequences in the past, and a model-based system that builds a model of the world to reason about potential future consequences an action might have in a specific situation." (Results, A theory of metacognitive moral learning)